Diêu Sùng có ba người con là Diêu Dị, Diêu Di và Diêu Dịch; cả ba đều được phong chức quan to trong triều. Diêu Di và Diêu Dị thích giao du với nhiều người và nhận quà cáp của họ, nên hai người bị các đại thần trong triều và nhân sĩ xã hội phê bình, làm mất danh dự của Diêu Sùng. Đến năm 717, người cùng cánh với Diêu Sùng là Tử vi sử Triệu Hải nhận hối lộ của người Phiên, bị Minh Hoàng cho giam vào ngục và định xử tử. Diêu Sùng mặc dù thừa nhận tội trạng của Hải, cố sức kêu xin giảm tội chết khiến Minh Hoàng bực tức. Sau đó Minh Hoàng hạ lệnh xá thiên hạ, nhưng Triệu Hải cũng bị đánh 100 roi và bị đày đến Lĩnh Nam. Sau việc này, Minh Hoàng có ý chán Diêu Sùng; Diêu Sùng cũng bất lực, bèn xin từ chức và tiến cử Tống Cảnh lên thay mình. Minh Hoàng đồng ý, lấy ông là Khai phủ nghi đồng tam ti và bãi chức tể tướng.

Cũng năm đó, Minh Hoàng muốn đến Đông Đô Lạc Dương, bỗng thấy thái miếu bị mục nát, nên lo lắng rằng do thần linh trừng phạt mình. Khi Minh Hoàng hỏi ý của Diêu Sùng, ông trả lời việc thái miếu hư hại chỉ là do gỗ đã quá lâu năm và chỉ cần tu sửa lại. Minh Hoàng hài lòng, từ đó lại sủng tín Diêu Sùng, và hạ lệnh cho Diêu Sùng được phép năm ngày mới vào triều yết một lần. Năm 720, ông được phong làm Thái tử thái bảo nhưng lấy lý do bệnh nặng mà từ chối.

Năm 721, Diêu Sùng qua đời[21], hưởng thọ 72 tuổi, được truy tặng Dương châu đô đốc, thụy là Văn Hiến. Đến năm 729 được truy phong Thái tử thái bảo. Ông để lại di thư cho con cháu về việc không nên xây dựng quá nhiều đền thờ Phật để cầu phúc mà cốt yếu là nên chăm đọc kinh và làm nhiều việc thiện thì phúc ắt sẽ tới.